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(57) Abstract 



The dynamics of common image 
sensor are not sufficient to process the lu- 
minosity contrasts which occur in many 
situations. The dynamic enhancement 
processes hitherto disclosed have consid- 
erable disadvantages for practical appli- 
cations. Image sensors produced by the 
new process should link enhanced dy- 
namics to ease of use. In order to avoid 
pixel overexposure or underexposure in 
the event of high image contrasts, a lo- 
cal auto-adaptive control is proposed. By 
means of this control, each pixel automat- 
ically ends its integration period as soon 
as it has integrated a sufficient photocur- 
rent. An analogue signal represents the 
length of the integration period selected 
by the pixel. It represents together with 
the integrated pixel signal a highly dynamic 
Owing to their local auto-adaptability, these 
be processed, for example vehicle guidance 
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brightness information with less strict requirements on the dynamics of the individual signals, 
image sensors are suitable for all fields of application in which high luminosity contrasts must 
in road traffic, nature films or astronomy. 
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(57) Zusammenfassung 



Die Dynamik der Oblichen Bildsensoren reicht nicht aus. urn die in vielen Situationen auftreienden Helligkeitskontraste zu vcrarbeiten 
Bisher veroffenthchte Verfahren zur Erhdhung der Dynamik weisen erhebliche Nachteile fOr die praktische Anwendung auf Bildsensoren 
nach dem neuen Verfahren sollen hohe Dynamik mit einfacher Anwendbarkeit verbinden. Urn die bei hohen Bildkontrasten auftreienden 
Uber- bzw Unterbehchtungen der Pixel zu vermeiden, enthalt jedes Pixel eine lokalautoadaptive Sleuening. Mit Hilfe dieser Steuerunc 
beendet jedes Pixel automatisch seine Integrationsperiode, sobald es ausreichend viel Photostrom aufintegriert hat. Ein analoces Sicnal 
reprasentiert die vom Pixel gewahlte Uinge der Integrationsperiode. Es stellt gemeinsam mit dem aufintegrierten Pixelsignal eine 
Helligkeitsinformation mit hoher Dynamik dar, bei geringen Anforderungen an die Dynamik der Einzelsignale. Die Bildsensoren eicnen 
sich aufgnind der Lokalautoadaptivitflt ftir alle Anwendungsgebiete. bei denen hohe Helligkeitskontraste verarbeitet werden mussen wic 
bcispielsweise Fahrzeugftlhrung im StraBenverkehr, Naturfilme oder Astronomic 
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Lokalautoadaptiver optischer Sensor 



Die vorliegehde Erfindung betrifft ein Verfahren fur den 
Betrieb von Bildsensoren nach dem „lokalautoadaptiven 
Verfahren" zur Aufnahme von hochdynamischen Bildszenen. 

Elektronische Bildsensoren sind bekannt und werden in den 
uncerschiedlichsten Technologien hergestellt. Solche 
Sensoren sind so aufgebaut, daft eine Anzahl 
Lichtwandelelemente (Pixel) in geeigneter Weise 
angeordnet sind, meist als eine einzige Zeile oder in 
Spalten und Zeilen als Matrix geordnet. Ein auf den 
Bildsensor projiziertes Bild wird von den Pixeln in ein 
der am Pixelort einfallenden Lichtmenge proport ionales 
elektrisches Signal umgewandelt . Die zugehorige 
Proportionalitatskonstante wird als 

Umwandlungsempf indlichkeit (Empf indlichkei t ) des Sensors 
bezeichnet. In einem sehr verbreiteten Typ von 
Bildsensor, dem „integrierenden Bildsensor", erzeugen die 
Pixel das Ausgangssignal , indem sie photostromgener ierte 
Ladungstrager liber ein gewisses Zeitintervall 
(Integrationszeit) auf eine Kapazitat auf integrieren . Das 
elektrische Signal wird mittels geeigneter, am Pixel 
aniiegender Ansteuersignale (Takt- o. Lesesignal) und vom 
Pixel wegfuhrender Auslesepfade ausgelesen und mit 
geeigneten Mitteln bildauswertenden oder bildverwer tenden 
Einheiten wie zum Beispiel einem Auf zeichnungsgerat 
zugefuhrt . 
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Ein wesentliches Merkmal eines Bildsensors ist seine 
Dynamik. Sie ist definiert durch die maximale und die 
minimale Bildhelligkeit am Pixelort, die zu einem 
sinnvoll verwertbaren Signal am Ausgang des Bildsensors 
fuhren. Nach unten ist die Dynamik begrenzt durch das 
elektrische Rauschen des Ausgangssignals : ein 
Pixelsignal, das kleiner ist als das elektrische 
Rauschen, ist nicht verwertbar. Nach oben ist die Dynamik 
durchweg begrenzt durch die Sattigung der fur die 
Signalwandlung und Signalubertragung verwendeten 
Komponenten . 

Ein weithin bekanntes Problem von Bildsensoren ist nun, 
daft ihre Dynamik nicht ausreicht, urn die in vielen 
Anwendungsgebieten auftretenden Helligkei tskontraste voll 
auf das Ausgangssignal abzubilden. Dadurch werden 
entweder dunkle Bildteile vom Rauschen verschluckt 
und/oder hellere Bildteile sind in der Sattigung, was 
zusatzlich zu weiteren Storungen wie Smear oder Blooming 
fuhren kann. Zur Behebung des Problems der begrenzten 
Dynamik sind einige Verfahren bekannt. 

Das US-Patent Nr. 5168532 sei stellvert r etend fur eine 
grofie Zahl von Patenten und Verof f entlichungen genannr, 
die die effektive Dynamik eines Bildsensorsystems nach 
dem Prinzip der „Zwei f achauslese" erhohen. Hierzu wird 
das Bildsensorsystem mit einer Moglichkeit versehen, die 
oben benannte Empf indlichkei t variieren zu konnen; z.B. 
durch Wahl der Integrationszeitdauer eines integrierenden 
Bildsensors oder noch einfacher mit Hilfe einer 
Irisblende. Sodann werden zwei Bilder aus dem Bildsensor 
ausgelesen, eines bei einer niedrigen Empf indlichkei t , 
eines bei einer hohen Empf indlichkei t . Diese zwei Bilder 
werden anschlieflend nach einem geeigneten Verfahren zu 
einem Gesamtbild zusammengef ugt . Das Verfahren der 
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^Mehrfachauslese"; das ebenfalls in den verschiedensten 
Varianten patentiert und verof f ent licht wurde (z.B. US- 
Patent Nr. 5638118), erganzt das Verfahren der 
„Zweifachauslese" nur insofern, als statt zweier eine 
hohere Anzahl von Bildern mit unterschiedlichen 
Empf indlichkeiten auf genommen, gespeichert und 
zusammengefugt werden. Beiden Verfahren ist der 
erhebliche Nachteil eines komplizierteren Sensor-Systems 
gemeinsam, das neben dem Bildsensor noch Mitte.l zur 
Speicherung und zur Verarbeitung der Bilddaten enthalt, 
wie z.B. einen Frarnegrabber . 

Einer zweiten Gruppe von Verfahren zur Erhohung der 
Sensordynamik ist die Kompression des Bildsignals bei der 
Signalerzeugung im Pixel gemeinsam. Bei dem gangigen 
Kompressionsverf ahren der logarithmischen Kompression 
wird der lichtabhangige Photostrom in eine logarithmisch 
davon abhangige S ignalspannung umgewandelt durch 
Ausnutzung der logarithmischen Spannungs-Stromkennlinie 
von Dioden oder MOS-Transistoren im Betrieb unterhalb der 
Schwellspannung, wie beispielsweise verof fentlicht von N. 
Ricquier und B. Dierickx in „Active Pixel CMOS image 
sensor with on-chip non-uniformity correction", IEEE 
Workshop on CCDs and Advanced Image Sensors, California, 
20-22. April, 1995. Diese und alle anderen 
Kompressionssensoren verlieren durch die 
Dynamikkompression Bilddetails. Desweiteren werden 
ortsfeste Stdrungen (sog. „Fixed Pattern Noise" oder 
FPN) , die durch lokale Schwankungen der 

Bauelementeparameter wie Transistorschwellspannungen oder 
Kapazitaten in den Pixeln und den Signalpfaden entstehen, 
exponentiell verstarkt, was wiederum durch aufwendige 
Maftnahmen korrigiert werden mufi . Andere Verfahren 
(beispielsweise US-Patent Nr. 5572074 oder „Analog VLSI 
phototransduction by continuous-time, adaptive, 
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logarithmic photoreceptor circuits" von T. DelbriAck und 
C.A. Head in Computation and Neural Systems Program, 
Technical Report, CNS memorandum No. 30, 1994, S. 1-23, 
California Inst, of Technology, Pasadena, CA 91125} 
steuern mit Hilfe einer auf wendigeren Pixelschal tung die 
Pixelempf indlichkeit lokal durch das vom Pixel selbst 
produzierte Ausgangssignal ; effektiv entspricht das 
Verfahren jedoch wieder den Kompressionsverf ahren mit den 
gleichen nachteiligen Folgen. 

Bessere Verfahren zum Betrieb von Bildsensoren mit hoher 
Dynamik stellen die lokaladapt iven Verfahren dar. Ein 
lokaladaptives Verfahren ist dadurch gekennzeichnet , dali 
die Empf indlichkeit des Bildsensors nicht fur alle Pixel 
gleichzeitig (global) sondern fur kleinere Untergruppen 
von Pixeln, bevorzugt fur jedes Pixel einzeln einstellbar 
ist (lokal). Der Natur der Bildsensoren gemaii kann dazu 
an unterschiedlichen Punkten des Signalweges angesetzt 
werden . 

Verfahren, die das auf die Pixel fallende Licht 
pixelweise schwachen, smd in den US-Patenten Nr. 5532743 
(Abschwachung durch LCD-Pixel), Nr. 55410705 
(Abschwachung durch Polarisatoren) und Nr. 5218485 
beispielhaft beschrieben. Sie setzen alle einen 
diffizileren optischen Aufbau und eine aufwendige, 
externe Ansteuerung der Abschwachungselemente voraus . 

Einfachere Systeme mit hoherer Dynamik erreicht man mit 
sdlchen lokaladaptiven Verfahren, die die 
Integrationszeit pixelweise steuern. Ein gangiges 
Verfahren mit lokaladapt iver Integrationszeit bedient 
sich dem individuellen Pixelreset, IPR; so z.B. von 0. 
Yadid-Pecht, B. Pain, C. Staller, C. Clark und E. Fossum 
berichtet in 'CMOS Active Pixel Sensor Star Tracker with 
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Regional Electronic Shutter' , IEEE Journal of Solid-State 
Circuits, Vol. 32, No. 2, Feb. 1997 und in "Wide dynamic 
range APS star tracker' , Solid State Sensor Arrays and 
CCD cameras, San Jose, Calif ornia, Proceedings of the 
SPIE, Vol. 2654, S. 82-92, 1996 sowie von Chen S., 
Ginosar R. in 'Adaptive Sensitivity CCD Image Sensor' , 
Proceedings of the SPIE, Vol. 2415, S. 303-309, 1995. Bei 
den beschriebenen Sensoren wurden die Pixelschaltungen 
derart modifiziert, dafi ihre Integrationskapazitat zu 
jedem Zeitpunkt in jedem Pixel einzeln zuruckgesetzt 
werden kann. Dadurch kann in gewissen Grenzen fur jedes 
Pixel eine eigene Integrat ionszeitdauer erreicht werden 
und mithin die Pixelempf indl ichkeit an die am jeweiiigen 
Pixelort auftreffende Licht intensitat adaptiert werden. 
Die beschriebenen Verfahren zeichnen sich durch einen 
geringen Zusatzauf wand in der Pixelschaltung bei 
gleichzeitig groBer Dynamik aus . 

Bei dem am Insitut fur Halbleiterelektroni k der 
Universitat-GH Siegen entwickelten lokaladapt i ven 
Bildsensor (LAS) lafit sich die Integrat ionszeit jedes 
Pixels einzeln schon vor der eigentlichen 
Integrationsphase in Form einer Analogspannung in die 
Pixel programmieren . (siehe T. Lule, H. Fischer, S. 
Benthien, H. Keller, M. Sommer, J. Schulte, P. Rieve, M. 
Bohm, „Image Sensor with Per-Pixel Programmable 
Sensitivity in TFA Technolgy", H. Reichl, A. Heuberger, 
Micro System Technologies '96, VDE-Verlag, Berlin, 
Offenbach, S. 675 ff., 1996) 



Nachteilig an den Verfahren des IPR und des LAS ist 
jedoch der erhebliche Aufwand an Zusat zschaltungen, der 
notig ist, urn aus dem zuletzt ausgelesenen Bild 
pixelweise die fur den nachsten Integrat ionszyklus 
benotigten Belichtungszei ten und daraus result ierenden 
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Ansteuertakte zu generieren. Der zusatzliche Nachteil der 
IPR-Verf ahren liegt in dem Problem, alle Pixel wahrend 
der Integrationsphase in der gewunschten Reihenfolge 
zuriicksetzen zu miissen, was zu Kollisionen und 
nichtdeterministischen Taktiiber kopplungen auf die 
empf indliche Pixelelektronik fiihren kann. Dariiberhinaus 
haftet alien bis hierhin beschriebenen adaptiven 
Verfahren der Nachteil des Zeitverzugs an; die fur eine 
Integrationsphase einzustellende Empf indlichkeit wird aus 
den Pixelsignalen der vorherigen Integrationsphase 
gewonnen, wodurch eine si tuat ionsgemafte Einstellung der 
Pixelempf indlichkeit nicht sicher gewahrleistet ist. 

Der im Patentanspruch 1 angegebenen Erfindung liegt das 
Problem zugrunde, die Empf indlichkei ten der Pixel eines 
Bildsensors ohne Zeitverzug und mit geringem 
Schaltungsauf wand an die am Pixelort herrschende 
Helligkeit anzupassen und mithin die effektive Dynamik 
des Bildsensors zu erhohen. 

Die Aufgabe wird durch die Adaption an die am Pixelort 
herrschende Helligkeit durch die Pixelschal tung selbst 
gelost, die Pixel sind lokalautoadaptiv . 

Das Prinzip der Lokalautoadapt ivi tat wurde bekannt 
gemacht durch 0. Yadid-Pecht in „The Automatic Wide- 
Dynamic-Range Sensor", SID 93, Intl. Symp., Digest, S. 
495-498, 1993. Dort wurde die Lokalautoadapt ivi tat 
erreicht durch die Fahigkeit des Pixels sich selbst 
zuriicksetzen zu kdnnen, wenn das auf integr ierte Signal 
einen Schwellwert iiberschrei tet . Prinzipiell wird dadurch 
zwar eine Sattigung der Pixel verhindert, die 
Integrationszeit wird dennoch nicht sicher an die auf das 
Pixel fallende Lichtintensi tat angepaflt, da es z.B. 
passieren kann, dali ein schwach beleuchtetes Pixel sich 
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kurz vor Ende der Integrat ionsphase noch einmal 
zurucksetzt und in der verbleibenden, sehr kurzen 
Integrationszeit keine nennenswerte Signalspannung mehr 
auf integrieren kann . 

Zudem muli die Integrat ionsdauer , die vom Pixel gewahlt 
wurde, auf geeignete Weise den nachf olgenden 
bildauswertenden Stufen mitgeteilt werden, damit die 
Helligkeit am Pixelort aus den zwei Grbfien 
Integrationsdauer und auf integriertes Pixelsignal 
rekonstruiert werden kann. O. Yadid-Pecht lafit dieses 
Problem weitgehend unbeantwortet und erwahnt nur in 
^Widening the dynamic range of pictures", High Resolution 
Sensors and Hybrid Systems, San Jose, CA, Proceedings of 
the SPIE, Band 1656, S. 374-382, 1992, dali die 
Integrationszeit lokal in 4 Flipflops gespeichert werden 
sollte, was zu einem erheblichen Aufwand an 
Pixelschaltung und zusatzlichen Ansteuerlei tungen flihrt. 
Urn die effektive GroBe der Pixelflache nicht vollig 
unwirtschaf tlich werden zu lassen, schlagt die Autorin 
weiter vor, die lokalautoadaptive Steuerung nur einmal 
pro Pixelblock von beispielsweise 8x8 Pixeln zu 
realisieren, was den Vorteil der Lokalautoadapt ivitat 
sofort zunichte macht, da ein starker Hell-Dunkelubergang 
innerhalb dieses Pixelblocks zu den gleichen 
Dynamikbeschrankungen fuhrt wie sie bei den 
global adapt iven Sensoren auf treten . 

Die er f indungsgemaiie Losung des Problems besteht in einem 
integrierenden, lokalautoadapt iven Pixel, das seine 
Integrationszeit automatisch, autark beendet noch bevor 
soviele photogenerierte Ladungen auf integr iert wurden, 
dali das Ausgangssignal sattigt. Dieses Verfahren 
unterscheidet sich dadurch von dem vorgenannten, daft das 
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Pixel den Endzeitpunkt der Integrationsperiode selbst 
bestimmt und nicht den Anf angszei tpunkt . 

Ein vorteilhaf tes Verfahren zur Beendigung der 
Integrationszeit stellt ein elektronischer Schalter dar, 
der in den Pfad des Photostromes vom Detektor zur 
Integrationskapazitat eingeschleif t wird und der zur 
Beendigung der Integrationszeit den Strompfad vom 
Detektor zur Kapazitat unterbricht. Ein dem vorgenannten 
Verfahren gleichwertiges stellt ein elektronischer 
Schalter dar, der zwischen einer ersten 
Integrationskapazitat, auf die der lichtpropor tionale 
Phorostrom wahrend der gesamten Integrationsphase flieflt, 
und einer zweiten Hal tekapazitat eine leitende Verbindung 
herstellt zu dem Zeitpunkt, da die Integrationszeit des 
betroffenen Pixels beendet werden soli, so dali die 
Spannung auf der Haltekapazitat nach Ende der 
Integrationsphase proportional zur Spannung auf dem 
Inuegrationskondensator zum ebengenannten Zeitpunkt ist. 
Pixelschaltungen mit solchen elektrischen Schaltern sind 
hinlanglich bekannt und werden bei fast alien 
incegrierenden Bildsensoren zur globalen Steuerung der 
Integrationszeit eingesetz t . 

Der besondere Vorteil der vorstehend genannten Losung 
besteht darin, dali ein so betriebener Sensor bei geringem 
Aufwand eine gegeniiber einem herkommlichen Sensor 
wesentlich hohere Dynamik aufweist, so dafi dieser Sensor 
bei wesentlich hoheren Kontrasten der Bildszene noch in 
alien Bildausschnitten auswertbare Ausgangssignale 
iiefert. Weiterhin liegt das Ausgangssignal fur einen 
erheblich erweiterten Bereich von Bildhelligkeiten immer 
im oberen Bereich der Aussteuerung, was automatisch einen 
verbesserten Signal-zu-Rausch-Abstand und damit eine 
verbesserte Bildqualitat mit sich bringt. 
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Eine vorteilhafte Wei terbildung des Verfahrens besteht 
darin, eine Information ( im folgenden Integrationssignal ) 
im Pixel zu speichern, die Auskunft daruber abgibt, wie 
lange die Integrat ionsdauer des Pixels betrug, und die 
zusammen mit dem auf integrierten Pixelsignal aus dem 
Bildsensor ausgelesen wird, so dafi die am jeweiligen 
Pixelort herrschende Helligkeit aus dem 
Integrationssignal und dem Pixelsignal eindeutig 
ermittelt werden kann. Vorteilhaft ist dabei, das 
Integrationssignal analog im Pixel zu speichern, das 
heifit beispielsweise in Form einer Spannung, eines 
Stromes oder einer Ladung. Solche analoge 
Inf ormationsspeicher wie eine Kapazitat oder ein 
Stromspiegelspeicher sind hinlanglich bekannt und lassen 
sich in gangigen Bildsensor-Technologien wie z.B. CMOS, 
BiCMOS Oder TFT auf kleinerer Flache realisieren als ein 
Digitalwertspeicher mit gleichem Inf ormationsgehalt , wie 
er beispielsweise von O. Yadid-Pecht vorgeschlagen wurde. 
Aber auch eine Speicherung des Integrationssignals als 
Digitalsignal kann eine vorteilhafte Moglichkeit 
darstellen, da sie eine wesentlich hohere Storsicherhei t 
bietet . 



Weiterhin bestehen die Moglichkeiten, dieses 
Integrationssignal innerhalb des Pixels autark zu 
generieren, von aulien in das Pixel hineinzutragen oder 
mit Hilfe von aulien in das Pixel hineinget ragenen 
Signalen zu generieren. Vorzugsweise wird das Signal 
vollstandig von aulien in das Pixel hineingetragen, da 
hierdurch weitere Komponenten fur die Signalgenerierung 
im Pixel eingespart werden und das Pixel das von aulien 
angelegte Signal nur noch speichern mufi . Geeigneterweise 
legt man das von aulien heranzutragende Signal an alle 
Pixel oder zumindest an grofiere Gruppen wie 
beispielsweise ganze Spalten oder Zeilen von Pixeln 
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gleichzeitig an, so dafi nur eine geringere Anzahl von 
Generatoren fur dieses Signal bereitgestellt werden mufi, 
als der Sensor Pixel hat. Diese Generatoren liefern dann 
ein Signal wie eine Spannung oder einen Strom oder ein 
digitales Wort, das sich zweckmafligerweise monoton zur 
schon verstrichenen Integrationszeit verhalt, wie zum 
Beispiel eine Spannungsrampe. Sobald ein Pixel seine 
Integrationszeit beendet, speichert es zu diesem 
Zeitpunkt nicht nur das bis dahin auf integrierte 
Pixelsignal im Belichtungskondensator , sondern auch das 
von seinem zugehorigen Generator von auJien angelegte 
Integrat ionssignal in seinem internen 
Integrationssignalspeicher . 

Der besondere Vorteil der vorstehend genannten Losung 
besteht darin, daft die Helligkei tsinf ormation auf zwei 
Signalgrofien aufgeteilt wird, zum einen in das 
Pixelsignal und zum anderen in das Integrationssignal , 
das Auskunft liber die Integrat ionszei tdauer abgibt . Auf 
diese zwei Signale aufgeteilt, harm eine wesentlich 
hohere Helligkeitsdynamik weitergegeben werden, als es 
mit einem Signal mbglich ware, da das Integrationssignal 
sozusagen eine Grobskalierung vorgibt, wahrend das 
Pixelsignal die Feininf ormation liefert. Insbesondere in 
gewerblichem Umfeld, wo eine Vielzahl an elektrischen 
Stbrquellen die Signaldynamik auf den Ober t ragungswegen 
beschrankt, stellt diese Aufteilung der Dynamik die 
einzige Moglichkeit dar, Bilder mit sehr hoher 
Signaldynamik (>100dB) zu verarbeiten. 

Eine vorteilhafte Weiterbildung des Verfahrens besteht 
darin, da/i die Beendigung der Integration nur zu wenigen, 
von aufterhalb des Pixels vorgegebenen Zeitpunkten 
erfolgen kann, die durch ein von aufien an das Pixel 
angelegtes Taktsignal definiert werden, Der Vorteil 
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dieser Zeitdiskretisierung liegt in der praziseren 
Kontrolle iiber die von den Pixeln wahlbaren 
Integrationsperioden. Insbesondere die sich bei hohen 
Beleuchtungsstarken einstellenden, sehr kurzen 
Integrationszeitdauern mussen mit einer so hohen 
Prazision eingestellt und voro Integrationssignal erfaJlt 
werden konnen, dali die Ungenauigkeiten noch viel 
kleineren Zeiten entsprechen, als die 

Integrationszeitdauer ohnehin schon ist, was durch eine 
getaktete Diskretisierung der Integrationszeitdauern 
besonders vorteilhaft erreicht wird. 

Eine vorteilhafte Weiterbildung des Verfahrens, 
insbesondere im Zusammenhang mit der Zeitdiskretisierung 
der Integrationsperioden und der Verwendung eines 
analogen Integrationssignals, stellt die Verwendung eines 
amplitudendiskretisierten, analogen Integrationssignals 
dar derart, dafl das Integrationssignal nur diskrete 
Amplituden annehmen kann. Die Ampli tudendiskret isierung 
des Integrationssignals hat den Vorteil, dafi 
nachfolgende, bildverwertende Stufen tiber eine 
Schwellwertbildung die gewahlte Integrat ionsper iode 
prazise rekonstruieren konnen una dafi die in 
Analogschaltungen unvermeidlichen Stdreinf lusse wie 
Rauschen und FPN bei ausreichendem Abstand der 
Diskretisierungsstuf en keinen Einflufc auf die 
Schwellwertbildung und damit auf die rekonstruier te 
Integrationszeitdauer hat. 

Im Falle der digitalen Speicherung des 

Integrationssignals liegt von der Natur der Sache schon 
eine Wer tdiskretisierung vor, die in der besagten 
Amplitdendiskretisierung des Analogsignals eine 
Entsprechung findet. Weiterhin ist die digitale 
Speicherung am vorteilhaf testen zusamir.en mit der besagten 
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Zeitdiskretisierung einzusetzen, da so jeder 
Integrationszeit eineindeutig ein digitaler Wert 
zugewiesen werden kann. Von dem Standpunkt aus 
betrachtet, wie er in modernsten Speichertechnologien 
vertreten wird, daft ein grob amplitudendiskretisiertes 
Analogsignal ein Mul tilevel-Digi talsignal darstellt, ist 
der Obergang von einem reinen, binaren Digitalsignal zum 
aiuplitudendiskret iiserten Analogsignal flieftend und 
variantenreich . 

Eine vorteilhafte Wei terbildung des Verfahrens stellt die 
Verwendung einer exponentiellen Verteilung der 
diskretisierten Integrat ionsper ioder. dar . Mit 
exponentieller Verteilung ist eine derartige Auswahl an 
vorgegebenen, vom Pixel wahlbaren Integrat ionsperioden 
gemeint, daft jeweils eine Integrat ionsper iode urn einen 
festen Faktor langer ist als die nachs t kurzeren wahlbare. 
Diese Verteilung ist eine von anderen Anwendungsgebieten 
wie zum Beispiel den Verschlulizeiten eines Fotoapparates 
her bekannte Verteilung, die fur eine gleichmafiige 
Abdeckung der vielen Zehnerpot enzen moglicher 
Licht intensitaten sorgt . 

Eine vorteilhafte Weiterbildung des Verfahrens stellt die 
technologische Realisierung des lokalautoadaptiven 
Bildsensors in der am Institut fur Halbleiterelektronik 
der Universitat-GH Siegen von Prof. Bohm und seinen 
Mitarbeitern entwickelten TFA-Technologie dar, wie sie 
z.B. von Prof. M. Bohm in „Intell igent Image Sensor 
Systems in TFA (Thin Film on ASIC) Technology^, einem 
Vortrag anlaftlich des Special Course on Intelligent 
Sensors, University of Roorkee, Roorkee U.P., Indien, 
1995, beschrieben ist. Der dort aufgewiesene Vorteil der 
vertikalen Integration des elektroopt ischen Detektors auf 
dem signalverarbeitenden ASIC macht sich insbesondere bei 
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den lokalautoadaptiven Sensoren bezahlt, da sich nicht 
Pixelelektronik und Detektor gegenseitig den Platz 
wegnehmen wie beispielsweise bei der reinen CMOS- 
Technologie, sondern die von der etwas umfangreicheren 
Pixelelektronik eingenommene Chipflache gleichzeitig dem 
daruberliegenden Detektor zur Verfiigung steht, der 
dadurch empf indlicher wird. 

Weitere vorteilhafte Weiterbildungen des Verfahrens gehen 
aus weiteren Unteranspruchen hervor. 

Ein Ausf uhrungsbeispiel der Erfindung, die bevorzugte 
Vorrichtung zur Durchfuhrung von vorstehend beschriebenen 
Verfahren, wird in den folgenden Figuren dargestellt und 
im weiteren naher bechrieben. Das Ausf uhrungsbeispiel 
stellt einen erf indungsgemafien, in TFA-Technologie 
realisierten Bildsensor mit 90dB Dynamik dar . 

Fig. 1 zeigt das Blockschal tbild der lokalautoadaptiven 
Pixelelektronik mit automatischer Integra tionsabschal~ung 
und Integrationssignalspeicherung . 

Fig. 2 zeigt die Ansteuersignale fur den Betrieb des 
Pixels nach Fig. 1 wahrend der Integr at ionsphase . 

Fig. 3 zeigt die von einem Pixel nach Abschluft der 
Integrationsphase in der Auslesephase ausgegebenen 
Integrations- und Pixelsignale aufgetragen uber der auf 
diesem Pixel auf tref f enden Lichtintensitat . 

Fig. 4 zeigt schematisch das Zusammenspiel der Pixel 
eines Flachensensors mit den peripheren Schaltungen auf 
dem Bildsensorchip. 
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Das Pixellayout in Fig. 5 ist zur Verdeutlichung der 
moderaten Komplexitat eines lokalautoadaptiven Pixels 
angef ligt . 

Fig. 1 zeigt das Blockschaltbild des in TFA-Technologie 
realisierten lokalautoadaptiven Pixels. Auf der 
Pixelschaltung befindet sich der lichtempf indliche 
Detektor 01 aus amorphem Silizium, dessen Kathode mit der 
in der Pixelschaltung realisierten Detektorschaltung 02 
verbunden ist. Die Detektorschaltung ist ein Spezifikurti 
der TFA-Technologie und nicht von Bedeutung fur die 
Lokalautoadaptivitat des Pixels. Sie halt die Spannung an 
der Kathode des Detektors 01 auf konstantem Wert, was die 
TFA-spezif ischen Kopplungen zwischen benachbarten 
Detektoren unterdruckt . 

Der vom Detektor 01 herrtihrende und von der 
Detektorschaltung 02 wei tergereichte Photostrom 03 wird 
wahrend der Integrat ionsphase iiber den geschlossenen 
Photostromschalter 04 auf der Integrat ionskapa zitat 05 
auf integriert . Die result ierende Pixelspannung 06 am 
Integrationskondensator 05 wird vom getakteten 
Pixelkomparator 07 mit einer dem Pixel von aufien 
zugeftihrten Vergleichsspannung 08 verglichen. Das 
Vergleichsergebnis erscheint erst nach einem Taktsignal 
von Takt 09 am Steuerausgang 10 des Pixelkomparators 07. 
Hat die Pixelspannung 06 zum Zeitpunkt des Taktsignals 
die Vergleichsspannung 08 uberschritten, so schaltet der 
Steuerausgang 10 den Photostromschalter 04 aus und 
beendet damit die Integrat ionsperiode fur die aktuelle 
Integrationsphase . Gleichzeitig mit jedem Taktsignal an 
Takt 09 liegt am Integrat ionssignaleingang Rampe 11 eine 
steigende, stuf ige Spannungsrampe an, die uber den 
geschlossenen Int egr at ionssignalschal ter 12 auf den 
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Integrationssignalkondensator 13 gegeben wird. In dem 
Moment, da der Steuerausgang 10 die Photostromintegra- i on 
uber Schalter 04 beendet, offnet derselbe Steuerausgang 
10 auch den mtegrationssignalschalter 12, so daft die 
Integrationssignalspannung 14 auf dem 

Integrationssignalkondensator 13 auf dem Spannungswert 
stehen bleibt, der zum Zeitpunkt der Abschaltung am 
Integrationssignaleingang Rampe 11 anlag. 

In der nachf olgenden Auslesephase veranlafit ein 
Lesesignal am Eingang Read 15 den Pixelsignalpuf f er 16 
und den Integrationssignalpuf f er 17, das auf integrierte 
Pixelsignal 06 und das f estgehaltene Integrat ionssignal 
14 auf die Pixelsignal-Spaltenleitung 18 bzw. die 
Integrationssignal-Spaltenleitung 19 auszugeben. 

Vor der nachsten Integr ationsphase schliefit ein 
Resetsignal am Eingang Reset 20 den Resetschalter 21 und 
loscht damit das auf integrierte Pixelsignal 06. Mit dem 
nachsten Taktsignal am Eingang Takt 09 schlieften der 
Photostromschalter 04 und der mtegrationssignalschalter 
12 wieder, und die nachste Integrationsphase beginnt . 

Fig. 2 zeigt uber der Zeit aufgetragen die Steuertakte 
Takt 09 und Rampe 11 sowie das Integrat ionssignal 14 und 
das Pixelsignal 06 jeweils fur zwei Pixel - ein Pixel bei 
hoher Beleuchtung (Pixl 30 bzw. Intl 31 ) und ein Pixel 
bei niedrigerer Beleuchtung (Pix2 34 und Int2 35 ) . Das 
Signaldiagramm zeigt ein Ausfuhrungsbeispiel mit sechs 
wahlbaren, exponentiell verteilten Integrationszeiten 39 
bis 44, wobei die Zeitachse in relativen Einheiten 
angegeben ist. 
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Mit der ersten steigenden Flanke 3B von Takt 09 startet 
die Integrationsphase, ab hier laufen die auf integriert en 
Pixelspannungen Pixl 30 und Pix2 34 hoch. Mit jeder 
weiteren steigenden Flanke von Takt 09 kann ein Pixel bei 
ausreichend hoher Pixelspannung seine Integrat ionsperiode 
beenden. Wurde beispielsweise ein Pixel bei der 
Taktflanke 39 seine Integration beenden, dann dauerte 
seine Integrationsperiode 1 Zeiteinheit, bei Taktflanke 
40 dauerte sie 2 Zeiteinheiten, bei Taktflanke 41 dauerte 
sie 4 Zeiteinheiten, bei Taktflanke 42 8 Zeiteinhei ten, 
bei Taktflanke 43 16 Zeiteinheiten; wurde ein Pixel bei 
Taktflanke 44 seine Integrationsperiode beenden, dann 
dauerte seine Integrationsperiode 32 Zeiteinheiten. Die 
wahlbaren Zeiteinheiten sind also in diesem 
Ausf uhrungsbeispiel exponentiell zur Basis 2 gewahlt 
worden. 

Die Vergleichsspannungen Ucomp 08 wurden fur diese 
Verteilung der Zeiteinheiten auf halben Pixelsignalhub 33 
bzw. 37 gesetzt. Hat ein Pixelsignal 06 innerhalb einer 
Integrationsperiode den halben Signalhub noch nicht 
uberschritten, so wird es in der nachst langeren, doppelt 
so langen Integrationsperiode nicht den vollen Signalhub 
iiberschreiten, so daft es noch weiter auf integriert werden 
kann, vorausgesetz t , daft sich die Helligkeit am Pixelort 
wahrend der folgenden, zusatzlichen Integrat ionszeit 
nicht wesentlich andert. Hat ein Pixelssignal 06 
innerhalb einer Integrationsperiode jedoch den halben 
Signalhub schon uberschritten, so wurde es in der nachst 
langeren, doppelt so langen Integrationsperiode den 
vollen Signalhub iiberschreiten, so daft die Integration 
beendet werden mufi . Durch diese Kombination von wahlbaren 
Integrationszeiten und Vergleichsspannung wird also 
sichergestell t , daft die auf integrierte Pixelspannung sich 



BNSDOCID: <WO 9814002A1_L> 



ERSATZBLATT (REGEL 26) 



WO 98/14002 



- 17 - 



PCT/EP97/05306 



immer in der oberen Halfte des vollen Signalhubs 
befindet. Eine Verbesserung in der Hinsicht einer 
Robustheit gegeniiber Helligkeitsschwankungen im Laufe 
einer Integrationsphase stellt die Wahl einer niedrigeren 
Vergleichsspannung dar; sie erlaubt der Pixelhelligkeit 
wahrend der Integrationsphase in beschranktem Umfang 
anzusteigen, ohne daft das Pixel dadurch sattigt. 

Das in Fig. 3 uber der relativen Beleuchtungsintensitat 
45 auf integrierte Pixelsignal 46 und Integrationssignal 
47 verdeutlichen diese sehr vorteilhafte Eigenschaft des 
lokalautoadaptiven Pixels. Aufgrund der logar i thmischen 
Auftragung der Intensitat auf der horizontalen Achse 
erscheint die Pixelsignalkurve gekriimmt, wahrend die in 
exponentiellen Abstanden verteilten Rampenstuf en 11 hier 
jeweils gleiche Breiten aufweisen. 

Das in Fig. 4 gezeigte Blockdiagramm zeigt schematisch 
das Zusammenspiel der Pixelschaltungen 50 mit den 
Peripheriekomponenten 53, 55 und 58 in einera 
Flachensensor. Wahrend der Integrationsphase versorg: die 
Integrationssteuerung 55 die in Spalten und Zeilen 
angeordneten Pixel 50 der Pixelmatrix 51 mit den 
notwendigen Ansteuersignalen wie Reset 20, Takt 09, Rampe 
11 und Ucomp 08, die die Integrationssteuerung 55 aus 
einem Eingangstakt Clk 66 erzeugt. Die Signale werden fur 
alle Pixel 50 gemeinsam erzeugt, so daft alle Pixel 50 der 
Pixelmatrix 51 synchron ihre Integrationsperioden 
beginnen, wahrend sie wie oben beschrieben den 
Endzeitpunkt selbst wahlen. 

Das Ende der Integrationsphase wird den aufterhalb des 
Chips liegenden Schaltungsteilen durch ein Signal am 
Ausgang Ready 67 angezeigt. Jetzt konnen diese eine 
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Zeilenadressen ZA 64 und das Zeilenf reigabesignal ZEN 65 
an den Zeilendekoder 53 legen, der dann die gewunschte 
Zeilenleseleitung 52 aufsteuert. Die Zeilenleselei tung 52 
ist mit den Pixelleselei tungen Read 20 aller Pixel 50 in 
der Zeile verbunden und sorgt dafur, dafi alle Pixel 50 
der ausgewahlten Zeile ihre auf integrierten Pixelsignale 
06 und f estgehaltenen Integrationssignale 14 auf die 
Pixelsignal-Spaltenleitungen 18 bzw. die 
Integrationssignal-Spaltenleitungen 19 ausgeben. 

Von all den parallel an der Spaltenansteuerung- und 
ausiese 58 anliegenden Pixelsignal- und 
Integrationssignal-Spaltenleitungen 56, 57 wahlt die 
Spaltenansteuerung- und ausiese 58 die Spalte aus, die 
durch die von aullen vorgegebene Spal tenadresse SA 63 
ausgewahlt wird. Mit anliegendem Spaltenf reigabesignal 
SEN 62 werden das ausgewahlte Pixelsignal 06 und das 
ausgewahlte Integrat ionssignal 14 auf den Pixelausgang 
Pixaus 59 und den Integrat ionssignalausgang Intaus 60 
ausgegeben. Nach erfolgter Ausiese aller Pixel 50 wird 
dann durch ein Signal an Start 61 die nachste 
Integrationsphase in der Integrationssteuerung 55 
angestolien. 
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PATENTANSPRUCHE 



1. Verfahren zum Betrieb von integrierenden 
Bildsensoren, bestehend aus 

a) einer Anordnung von lichtwandelnden Pixeln, die 
jeweils bestehen aus 

aa) einem lichtempf indlichen Element (01) zur 
photoelektrischen Konvertierung der auf es fallenden 
Lichtintensitat in einen licht intensitatsabhangigen 
Photostrom; 

ab) einer integrierenden Vorrichtung (04,05) uiri 
innerhalb einer Integrationsphase den besagten 
Photostrom uber eine gewisse Integrationszeitdauer 
aufzuintegrieren; 

ac) einer zeitdauers teuernden Vorrichtung (07-10), 
zur Bestimmung des Anfangs- und Endzeitpunkts der 
Integrationszeitdauer; 

ad) einer Auslesevorrichtung (15) zur Weitergabe 
eines Pixelsignals wahrend einer Auslesephase, das 
der Menge des auf integrierten Photostroms 
entspricht ; 

b) einer Vorrichtung zur Bearbeitung der vorbenannten, 
von den Pixeln wei tergegebenen Signale und 
Bereitstellung eines daraus erzeugten 
Ausgangs signals; 
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c) einer pixelsteuerncien Vorrichtung, die alle oben 

genannten, in alien Pixeln vorhandenen Vorrichtungen 
derart mit Steuersignalen versorgt, daft das 
vorgenannte Ausgangssignal ein das auf den Bildsensor 
einstrahlende Lichtbild wiedergebendes Signal 
darstellt , 

dadurch gekennzeichnet, dafl die 
zeitdauersteuernde Vorrichtung der Pixel derart von der 
integrierenden Vorrichtung desselben Pixels beeinflufit 
wird, daJ3 die zeitdauersteuernde Vorrichtung den 
Endzeitpunkt der Integra tionszei tdauer abhangig von der 
auf das Pixel fallenden Lichtintensi tat so wahlt, daft 
hohere Licht intensit a ten zu kurzeren 
Integrationszeitdauern fuhren, wahrend niedrigere 
Lichtintensi tat en zu 1 anger en Integrationszeitdauern 
f uhren . 

2. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, daft die 
zeitdauersteuernde Vorrichtung mit Hilfe eines 
elektronischen Schalters Einflufl nimmt auf den 
Endzeitpunkt der Integrationszei tdauer , wobei der 
elektronische Schalter derart eingebaut ist, daft der 
elektronische Schalter den Zuflu/i des Photos tromes in die 
integrierende Vorrichtung zur Beendigung der 
Integrationsszeit unterbricht. 

3. Verfahren nach Anspruch 1, 

dadurch gekennzeichnet, daft die 
zeitdauersteuernde Vorrichtung mit Hilfe eines 
elektronischen Schalters Einfluft nimmt auf den 
Endzeitpunkt der Integrationszeitdauer , wobei der 
elektronische Schalter derart eingebaut ist, dali der 
elektronische Schalter zwischen vorbenannter, 
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integrierender Vorrichtung und einer weiteren, 
speichernden Vorrichtung derart eingeschleif t ist, daft 
der elektronische Schalter zum besagten Endzeitpunkt den 
Signalweg zwischen der integrierenden Vorrichtung und der 
speichernden Vorrichtung derart unterbricht, da/1 nach dem 
Ende der Integrat ionsphase die speichernde Vorrichtung 
ein Signal gespeichert hat, das in Relation steht zu dem 
zum besagten Endzeitpunkt von der integrierenden 
Vorrichtung abgegebenen Signal. 

4. verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, daft jedes 
Pixel nach Ablauf oben bezeichneter Integrationsphase 
eine Integrationsdauerinf ormation gespeichert hat, die 
Auskunft dartiber gibt, wie lange die bezeichnete 
Integrationszeitdauer des jeweiligen Pixels betrug, und 
die zusammen mit dem oben genannten Pixelsignal 
ausgelesen wird. 

5. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft die 
dort benannte Integrationsdauerinf ormation reprasentiert 
wird durch ein digitales Signal. 

6. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft die 
dort benannte Integrationsdauerinf ormation reprasentiert 
wird durch ein analoges Signal. 

7. Verfahren nach Anspruch 6, 

dadurch gekennzeichnet, daft die 
dort benannte Integrat ionsdauerinf ormation durch ein 
amplitudendiskretisiertes, analoges Signal reprasentiert 

wird . 
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8. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft das 
dort benannte Signal im Pixel autark generiert wird. 

9. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet, daft das 
dort benannte Signal mit Hilfe von Signalen, die von 
auften an das Pixel angelegt werden, im Pixel generiert 
wird. 

10. Verfahren nach Anspruch 4, 

dadurch gekennzeichnet,' daft das 
dort benannte Signal dem Pixel zu jedem Endzeitpunkt 
passend von auften bereitgestellt wird und vom Pixel zum 
geeigneten Zeitpunkt festgehalten werden muB. 

11. Verfahren nach einem der vorhergehenden Anspriiche, 
dadurch gekennzeichnet, daft die 
oben genannte zeitdauersteuernde Vorrichtung sich nur zu 
wenigen, diskreten Zeitpunkten innerhalb einer 
Integrationsphase fur die Beendigung der Auf integration 
des Pixelsignals entscheider. kann und daft vorbenannte, 
diskrete Zeitpunkte durch von aufterhalb an das Pixel 
angelegte Signale definiert werden. 

12. Verfahren nach Anspruch 11, 

dadurch gekennzeichnet, daft die 
genannten, von auften definierten Zeitpunkte exponenriell 
verteilt sind in dem Sinne, daft jeweils eine durch Wahl 
eines Endzeitpunkts wahlbare Integrationszeitdauer urn 
einen festen Faktor langer isz ais die nachst kurzere 
wahlbare Integrationszeitdauer . 
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13. Verfahren nach Anspruch 11, 

dadurch gekennzeichnet, daft die 
genannten, von auflen definierten Zeitpunkte dual- 
exponentiell verteilt sind in dem Sinne, daft jeweils eine 
durch Wahl eines Endzeitpunkts wahlbare 

Integrationszeitdauer doppelt so lang ist wie die nachst 
kurzere, wahlbare Integrationszei tdauer . 

14. Vorrichtung fur die Ansteuerung von Bildsensoren 
bestehend aus einer Vielzahl von Pixelsignal- 
Aufbereitungseinheiten, die jeweils 

eine Pixel-Empf angseinr ichtung (01,02), mittels der auf 
ein lichtempf indliches Element (01) einfallendes Licht in 
einen lichtintensitatsabhangigen Photostrom wandelbar 
ist , 

eine Integrationseinrichtung (05) zum Auf int egr ieren des 
Photostromes wahrend einer vorgebbaren 
Integrationszei tdauer und 

eine Ausleseeinr ichung zum Auslesen des dem 

auf integrierten Photostrom entsprechenden Pixelsignals 

wahrend einer Auslesephase enthalten, 

wobei die von den Pixelsignal-Auf bereitungseinhei ten 
ausgelesenen Pixelsignale von einer gemeinsamen 
Verarbeitungseinrichtung verarbeitet und zu einem das auf 
den Bildsensor einstrahlende Lichtbild wiedergebenden 
Signal zusammengesetzt werden, 

dadurch gekennzeichnet, daft die 
Pixel-Empf angseinrichtungen Mittel zur Vorgabe des Endes 
der Integrationszeit aufweisen derart, daft die 
Integrationszeit unter Berucksichtigung der einfallenden 
Lichtintensitat beendet wird, bevor die Integrations- 
einrichtung (05) in den Sattigungszustand geiangt. 
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(54) Title: LOCAL AUTO-ADAPTIVE OPTIC SENSOR 
(54) Bczeichnung: LOKALAUTOADAPTIVER OPTISCHER SENSOR 
(57) Abstract 

The dynamics of common image 
sensor are not sufficient to process the lu- 
minosity contrasts which occur in many 
situations. The dynamic enhancement 
processes hitherto disclosed have consid- 
erable disadvantages for practical appli- 
cations. Image sensors produced by the 
new process should link enhanced dy- 
namics to ease of use. In order to avoid 
pixel overexposure or underexposure in 
the event of high image contrasts, a lo- 
cal auto-adaptive control is proposed. By 
means of this control, each pixel automat- 
ically ends its integration period as soon 
as it has integrated a sufficient photocur- 
rent. An analogue signal represents the 
length of the integration period selected 
by the pixeh It represents together with 
the integrated pixel signal a highly dynamic 
Owing to their local auto-adaptability, these 
be processed, for example vehicle guidance 
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brightness information with less strict requirements on the dynamics of the individual signals, 
image sensors are suitable for all fields of application in which high luminosity contrasts must 
in road traffic, nature films or astronomy. . 



ABSTRACT 



The dynamics of the usual image sensors are not sufficient to 
process the brightness contrasts occurring in many situations. 
Previously disclosed methods of increasing the dynamics have 
considerable disadvantages for practical application. Image 
sensors according to the new method should combine high dynamics 
with simple applicability. 

To avoid the overexposure and underexposure of pixels which 
occurs with high image contrasts, each pixel contains a local 
autoadaptive control. With the help of this control, each pixel 
automatically ends its integration period as soon as it has 
integrated enough photoelectric current. An analog signal 
represents the length of the integration period selected by the 
pixel. Together with the integrated pixel signal, it represents 
brightness information with high dynamics and with low 
requirements regarding the dynamics of the individual signals. 

Because of their local adaptivity, the image sensors are suitable 
for all applications where high brightness contrasts must be 
processed, such as guiding a motor vehicle in highway traffic, 
nature films and astronomy. 

Figure 1 is provided for publication. 



LOCAL AU TOAD AP T I VE OPTICAL SENSOR 



The present invention relates to a method of operating image 
sensors according to the "local autoadaptive method 7 ' of recording 
highly dynamic image scenes. 

Electronic image sensors are known and are manufactured in a wide 
variety of technologies. Such sensors are designed so that a 
number of picture elements (pixels) are arranged in a suitable 
manner, usually as a single line or as a matrix in columns and 
lines. An image projected onto the image sensor is converted by 
the pixels into an electric signal proportional to the amount of 
incident light at the pixel locus. The respective proportionality 
constant is known as the conversion sensitivity (sensitivity) of 
the sensor. In a very widespread type of image sensor, the 
"integrating image sensor, " the pixels generate the output signal 
by integrating photoelectric current * -generated charge carriers 
over a certain interval of time (integration time) to a 
capacitor. The electric signal is read out by means of suitable 
control signals (clock signal or read signal) applied to the 
pixel and readout paths leading away from the pixel and is sent 
with suitable means to image analyzing units or image utilizing 
units, such as a recording device. 

An important feature of an image sensor is its dynamics, defined 
by the minimum and maximum image brightness at the pixel locus 
leading to a signal that can be utilized appropriately at the 
output of the image sensor. The dynamics are limited at the lower 
end by the electric noise of the output signal:" a pixel signal 
smaller than the electric noise cannot be utilized. The dynamics 
are limited at the upper end by the saturation of the components 
used for signal conversion and signal transmission. 
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Another known problem with image sensors is that their dynamics 
are not sufficient to completely image the brightness contrasts 
occurring in many applications to the output signal. Therefore, 
either dark image parts are swallowed by the noise and/or lighter 
image parts are in saturation, which can also lead to additional 
interference such as smear or blooming. Several methods are known 
for eliminating the problem of limited dynamics. 

U.S. Patent no, 5,168,532 is cited as representative of a large 
number of patents and publications wherein the effective dynamics 
of an image sensor system are increased by the "dual readout" 
principle. For this purpose, the image sensor system is provided 
with an option of varying the known sensitivity - for example, by 
selecting the integration time of an integrating image sensor or, 
even more simply, with the help of an iris diaphragm. Then two 
images are output by the image sensor, one at a low sensitivity 
and one at a high sensitivity. These two images are then combined 
by a suitable method to form a complete image. The method 
"multiple readout" which has also been patented and published in 
a wide variety of variants (e.g., U.S. Patent no. 5,638,118), 
supplemented by the "dual readout" method only inasmuch as 
instead of only two images, a larger number of images with 
different sensitivities are recorded, stored and combined. Both 
methods have the serious disadvantage of a complicated sensor 
system, which, in addition to the image sensor, also contains 
means for storing and processing the image data, such as a frame 
grabber . 

A second group of methods of increasing sensor dynamics is 
compression of the image signal in signal generation in the 
pixel. With the conventional compression method of logarithmic 
compression, the light-dependent photoelectric current' is 
converted to a logarithmically dependent signal voltage by 
utilizing the logarithmic voltage-current characteristic of 
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diodes or MOS transistors in operation below the threshold 
voltage, as published by N. Ricquier and B. Dierickx, for 
example, in "Active Pixel CMOS Image Sensor with On-Chip Non- 
Uniformity Correction," IEEE Workshop on CCDs and Advanced Image . 
Sensors, California, April 20-22, 1995. These and all other 
compression sensors lose image details due to dynamic 
compression. In addition, fixed interference (so-called fixed 
pattern noise or FPN) which occurs in the pixels and the signal 
paths due to local fluctuations in component parameters such as 
transistor threshold voltages or capacitances is amplified 
exponentially, which must in turn be corrected by expensive 
measures. Other methods (for example, U.S. Patent no. 5,572,074 
or "Analog VLSI Phototransduction by Continuous-Time, Adaptive, 
Logarithmic Photoreceptor Circuits" by T. Delbruck and C. A. Mead 
in computation and Neural Systems Program, Technical Report, CNS 
Memorandum No. 30, 1994, pages 1-23, California Institute of 
Technology, Pasadena, CA 91125) control the pixel sensitivity 
locally through the output signal produced by the pixel itself 
with the help of a complicated pixel circuit; however, this 
method again effectively corresponds to the compression method 
with the same disadvantages resulting from it. 

Locally adaptive methods are better methods of operating image 
sensors with high dynamics. A locally adaptive method is 
characterized in that the sensitivity of the image sensor is not 
adjusted for all pixels at the same time (globally) but instead 
is adjusted for smaller subgroups, preferably individually for 
each pixel (locally) . According to the nature of the image 
sensors, it is possible to connect at different points in the 
signal path. 

Methods that reduce, pixel by pixel, the light striking the pixel 
are described in U.S. Patent no. 5,532,743 (attenuation by LCD 
pixel), U.S. Patent no. 55,410,705 (attenuation by polarizers) 
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and U.S. Patent no. 5,218,485, for example. All these methods 
presuppose a more complex optical structure and an expensive 
external system for controlling the attenuation elements. 

Simpler systems with higher dynamics are achieved with such 
locally adaptive methods which control the integration time on a 
pixel by pixel basis. A conventional method with locally adaptive 
integration time uses individual pixel reset, IPR, for example, 
as reported by 0. Yadid-Pecht, B. Pain, C. Staller, C. Clark and 
E. Fossum in "CMOS Active Pixel Sensor Star Tracker with Regional 
Electronic Shutter," in IEEE Journal of Solid-State Circuits, 
vol. 32, no. 2, Feb. 1997 and in "Wide Dynamic Range APS Star 
Tracker," in Solid State Sensor Arrays and CCD Cameras, San Jose, 
California, Proceedings of the SPIE, vol, 2654 (1996) pp. 82-93, 
and by S. Chen, R. Ginosar in "Adaptive Sensitivity CCD Image 
Sensor," Proceedings of the SPIE, vol. 2415 (1995) pp. 303-309. 
With the sensors described here, the pixel circuits have been 
modified so that their integration capacitor can be reset 
individually in each pixel at any time. Due to this fact, an 
individual integration time can be achieved for each pixel in 
certain limits, and therefore the pixel sensitivity can be 
adapted to the light sensitivity striking the respective pixel 
locus. The methods described here are characterized by a low 
additional expense in the pixel circuit with high dynamics at the 
same time. 

With the locally adaptive image sensor (LAS) developed at the 
Institute for Semiconductor Electronics at the University of 
Siegen, the integration time of each pixel can be programmed 
individually into the pixel in the form of an analog voltage 
before the actual integration phase (see T. Lule, H. Fischer, S. 
Benthien, H. Keller, M. Sommer, J. Schulte, P. Rieve, M. Bohm, 
"Image Sensor with Per-Pixel Programmable Sensitivity in TFA 
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Technology"; h. Reichl, A. Heuberger, Micro System 
Technologies '96, VDE Verlag, Berlin, Offenbach, pages 675 
ff., 1996). 



5 A disadvantage of the IPR and LAS methods, however, is the 
considerable expense in terms of supplementary circuits 
which are needed to generate, pixel by pixel, the exposure 
times required for the next integration cycle and the 
resulting driving clock pulses from the image read out 

10 last. The additional disadvantage of the IPR methods is 
the problem that all pixels must be reset in the desired 
sequence during the integration phase, which leads to 
collisions and non-deterministic clock pulse overcoupling 
on the sensitive pixel electronics. In addition, all the 

15 adaptive methods described so far have the disadvantage of 
time delay; the sensitivity to be set for an integration 
phase is obtained from the pixel signals of the preceding 
integration phase, so that proper setting of pixel 
sensitivity according to the situation cannot be reliably 
2 0 guaranteed. 
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The principle of local autoadaptivity was made known by O. 
Yadid-Pecht in "The Automatic Wide -Dynamic -Range Sensor," 
SID 93, Intl. Symp., Digest (1993) pp. 495-498, where local 
autoadaptivity is achieved by the ability of the pixel to 
reset itself when the integrated signal exceeds a 
threshold. In principle, this prevents saturation of 
pixels, but integration time is nevertheless not adapted 
reliably to the light intensity striking the pixel, because 
it may occur, for example, that a weakly illuminated pixel 
is reset again just before the end of the integration phase 
and no mentionable signal voltage can be integrated in the 
very short integration time remaining. 



3 5 Furthermore, the integrati 




on time selected by the pixel 
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must be reported to subsequent image analyzing stages by a 
suitable method so that the brightness at the pixel locus 
can be reconstructed from the two parameters, the 
integration time and the integrated pixel signal. O. 
5 Yadid-Pecht leaves this problem largely unanswered, and 
mentions only that the integration time should be stored 
locally in four flip-flops, which leads to a considerable 
expense in terms of pixel circuit and additional control 
lines ("Widening the Dynamic Range of Pictures," High. 
10 Resolution Sensors and Hybrid Systems, San Jose, GA, 

Proceedings of the SPIE, volume 1656 (1992) pp. 374-382) . 

Accordingly, the present invention provides an integrating 

image sensor, including: 

15 a) an arrangement of light converting pixels, 

each consisting of: 

: .: ## * aa) a light-sensitive element for 

• • • • 

•....2 photoelectric conversion of the light intensity falling on 

• it in a photoelectric current that depends on the light 
2 0 intensity; 

• • • • 

ab) an integrating device to integrate said 
photoelectric current over a certain integration time 
within an integration phase; 

ac) a duration controlling device for 

• • • • 

25 determining the starting and ending time of the integration 
period; 

: ad) a readout device for relaying a pixel 

• • * * 

signal during a readout phase which corresponds to the 
amount of photoelectric current integrated; 
30 b) a device for processing previously known 

signals relayed by the pixels and supplying an output 
signal generated from it; 

c) a pixel controlling device which supplies 
all the above-mentioned devices that are present in all 

/£-£.^L//^v3 5 pixels with control signals in such a way that the said 

/V A 
(;< u-Ml • 
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output signal is a signal reflecting the light image picked 
up by the image sensor, 

wherein the duration controlling device of the 
pixels is influenced by the integrating device of said 
5 pixel in such a way that the duration controlling device 

selects the end point of the integration time as a function 
of the light intensity striking the pixel so that higher 
light intensities lead to shorter integration periods, 
while lower light intensities lead to longer integration 
10 periods. 

Preferably the duration controlling device influences the 
end time of the integration period with the help of an 
electronic switch, where the electronic switch is installed 
15 so that the electronic switch interrupts the flow of 

photoelectric current into the integrating device to end 
the integration time . 

Preferably each pixel has stored integration duration 
20 information after the end of said integration phase, which 
provides information on how long said integration period of 
the respective pixel was and which is read out together 
with said pixel signal. 

2 5 Preferably integration duration information is represented 

by a digital signal. 

Preferably said duration controlling device can decide to 
terminate the integration of the pixel signal only at a few 

3 0 discrete times within an integration phase, and sa!id 

discrete times are defined by signals applied to the pixel 
from the outside. 



Preferably said externally defined times have an 
exponential distribution in the sense that an integration 

if f ' ^ 
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period that can be selected by choosing an end time is 
longer by a fixed factor than the next shorter selectable 
integration period. 



• • • 
• • 
•• • • 



5 The present invention also provides a device for 

controlling image sensors, comprising a plurality of pixel 
signal processing units, each of which comprises: 

a pixel receiving device by means of which 
incident light striking a light-sensitive element can be 
10 converted to a light intensity dependent photoelectric 
current ; 

an integration device for integrating the 
photoelectric current during a predetermined integration 
period; and 

15 a readout device for reading out the pixel signal 

corresponding to the integrated photoelectric current 
during a readout phase, where the pixel signals read out by 
the pixel signal processing units can be processed by a 
common processing device and combined to a signal that 
20 reflects the light image received by the image sensor; 

wherein the pixel receiving devices have means 
for predetermining the end of the integration time such 
that the integration time is ended, taking into account the 

» 

incident light intensity, before the integration device 

► • • 

25 enters the saturation state. 

The present invention still further provides a method of 
operating an integrating image sensor, including: 

a) providing an arrangement of light converting 
3 0 pixels, each consisting of: 

aa) a light-sensitive element for 
photoelectric conversion of the light intensity falling on 
it in a photoelectric current that depends on the light 
.. . ... ^ intensity; 

<J JJ ^Z\ ab) an integrating device to integrate said 

\ 
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photoelectric current over a certain integration time 
within an integration phase; 

ac) a duration controlling device for 
determining the starting and ending time of the integration 

5 period; 

ad) a readout device for relaying a pixel 
signal during a readout phase which corresponds to the 
amount of photoelectric current integrated; 

b) processing previously known signals relayed 
10 by the pixels and supplying an output signal generated from 

it; 

c) suppling all the above-mentioned devices 
that are present in all pixels with control signals in such 
a way that the said output signal is a signal reflecting 

15 the light image picked up by the image sensor, 

whereby said duration controlling device is 
• influenced by the integrating device of said pixel in such 

I a way that the duration controlling device selects the end 

point of the integration time as a function of the light 
2 0 intensity striking the pixel so that higher light 

intensities lead to shorter integration periods, while 
I lower light intensities lead to longer integration periods. 

Preferably the duration controlling device influences the 
25 end time of the integration period with the help of an 

electronic switch, where the electronic switch is installed 
so that the electronic switch interrupts the flow of 
photoelectric current into the integrating device to end 
the integration time. 

30 

Preferably the integration duration information is 
represented by a digital signal. 

.^—-^ Alternatively the integration duration information is 

/'^^Vl^^^epresented by an analog signal. More preferably the 

.':'::> uA, 
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integration duration information is represented by an 
amplitude-discretized analog signal. 

Preferably the duration controlling device can decide to 
terminate the integration of the pixel signal only at a few 
discrete times within an integration phase, and said 
discrete times are defined by signals applied to the pixel 
from the outside. 

Preferably the externally defined times have an exponential 
distribution in the sense that an integration period that 
can be selected by choosing an end time is longer by a 
fixed factor than the next shorter selectable integration 
period. 

Alternatively the externally defined times have a dual 
exponential distribution in the sense that an integration 
period that can be selected by choosing an end time is 
twice as long as the next shorter selectable integration 
period. 

Thus, the brightness information may be divided into two 
signal parameters: first, the pixel signal, and second, the 
integration signal which provides information about the 
integration time* When divided into these two signals, 
higher brightness dynamics can be reproduced than would be 
possible with a single signal, because the integration 
signal provides a coarse scaling (so to speak), while the 
pixel signal supplied detailed information. 

It is advantageous to store the integration signal in an 
analog form in the pixel, e.g. in the form of a voltage, a 
current or a charge. Such analog information storage 
devices as a capacitor or a current level storage device 
are adequately well known and can be implemented in a 
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smaller area in conventional image sensor technologies as 
CMOS, BiCMOS or TFT than a digital device with the same 
information content. However, storage of the integration 
signal as a digital signal can also be an advantageous 
option because it offers a greater interference immunity. 

Other advantageous embodiments of the method are derived 
from additional subclaims. 

A preferred embodiment of the invention is shown in the 
following figures and described in detail below by way of 
example. This embodiment is an image sensor implemented in 
the TFA technology according to this invention with 90 dB 
dynamics . In the drawings : 

Figure 1 shows the block diagram of the locally 
autoadaptive pixel electronics with automatic integration 
cutoff and integration signal storage according to a 
preferred embodiment of the present invention; 

Figure 2 shows the control signals for operation 
of the pixel according to Figure 1 during the integration 
phase; 

Figure 3 shows the integration signals and pixel 
signals output in the readout phase following the 
integration phase, plotted as a function of the light 
intensity occurring on this pixel; and 

Figure 4 shows schematically the interaction of 
the pixels of an area sensor with the peripheral circuits 
on the image sensor chip. 

The pixel layout in Figure 5 is included to illustrate the 
moderate complexity of a locally autoadaptive pixel. 
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Figure 1 shows the block diagram of the locally autoadaptive 
pixel implemented in TFA technology. The pixel circuit has photo- 
sensitive detector 01 of amorphous silicon, whose cathode is 
connected to the detector circuit 02 which is implemented in the 
pixel circuit. The detector circuit is a specific of the TFA 
technology and is not important for the local autoadaptivity of 
the pixel. It keeps the voltage on the cathode of detector 01 at 
a constant level, which suppresses the TFA-specific couplings 
between neighboring detectors. 

The photoelectric current' 03 originating from the detector 01 
and relayed by the detector circuit 02 is integrated to the 
integration capacitor 05 over the closed photoelectric current' 
switch 04 during the integration phase. The resulting pixel 
voltage 06 on the integration capacitor 05 is compared with a 
comparative voltage 08 supplied to the pixel from the outside - 
The result of the comparison appears at the control output 10 of 
pixel comparator 07 only after a clock signal of the clock pulse 
09. If the pixel voltage 06 has exceeded the comparative voltage 
08 at the time of the clock signal, the control output 10 
switches the photoelectric current' switch 04 off and thus ends 
the integration period for the current integration phase. 
Simultaneously with each clock signal at clock pulse 09, a 
rising, stepped voltage ramp is applied at integration signal 
input ramp 11 and is sent over the closed integration signal 
switch 12 to integration signal capacitor 13. At the moment when 
control output 10 ends the photoelectric current' integration 
over switch 04, said control output 10 also opens the integration 
signal switch 12, so that integration signal voltage 14 on the 
integration signal capacitor 13 remains at the voltage level 
which was applied to the integration signal input ramp 11 at the 
time of cutoff. 
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In the following readout phase, a read signal at read input 15 
causes the pixel signal buffer 16 and the integration signal 
buffer 17 to output the integrated pixel signal 06 and the fixed 
integration signal 14 on the pixel signal column line 18 or the 
integration signal column line 19. 

Before the next integration phase, a reset signal at reset input 
20 closes reset switch 21 and thus erases the integrated pixel 
signal 06. With the next clock signal at clock input 09, the 
photoelectric current' switch 04 and the integration signal 
switch 12 close again, and the next integration phase begins. 

Figure 2 shows the clock 09 and ramp 11 control pulses plus the 
integration signal 14 and pixel signal 06 each for two pixels - 
one pixel with high lighting (Pixl 30 and Intl 31) and a pixel at 
lower lighting (Pix2 34 and Int2 35) . The signal diagram shows an 
embodiment with six selectable exponentially distributed 
integration times 39 through 44, where the time axis is given in 
relative units. 

The integration phase begins with the first rising edge 38 of 
clock pulse 09, after which the integrated pixel voltages Pixl 30 
and Pix2 34 increase. With each additional rising edge of clock 
pulse 09, a pixel at a high enough pixel voltage can end its 
integration period. For example, if a pixel at clock pulse edge 
39 were to end its integration, then its integration period would 
last one unit of time, at clock pulse edge 40 it would last for 
two units of time, at clock pulse edge 41 it would last for four 
units of time, at clock pulse edge 42 it would last eight units 
of time, and at clock pulse edge 43 it would amount to sixteen, 
units of time; if a pixel were to end its integration period at 
clock pulse edge 44, its integration period would last 32 units 
of time. The selectable units of time in this embodiment have 
thus been selected exponentially to the base 2. 
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The comparative voltages Ucomp 08 would be set at a half signal 
amplitude 33 or 37 for this distribution of units of time. If a 
pixel signal 05 has not exceeded half the signal amplitude within 
one integration period, it will not exceed the full signal 
amplitude in the next longer integration period which is twice as 
long, so that it can be integrated further, assuming that the 
brightness at the pixel locus does not change significantly 
during the following additional integration time. If, however, a 
pixel signal 06 has already exceeded half the signal amplitude 
within an integration period, it would exceed the full signal 
amplitude in the next longer integration period which is twice as 
long, so that the integration must be ended. Due to this 
combination of selectable integration times and comparative 
voltage, it is thus ensured that the integrated pixel voltage is 
always in the upper half of the full signal amplitude. The choice 
of a lower comparative voltage represents an improvement in 
robustness with regard to fluctuations in brightness in the 
course of an integration phase. This makes it possible for the 
pixel brightness to increase to a limited extent during the 
integration phase without the pixel thereby becoming saturated. 

Pixel signal 46 and integration signal 47 which are integrated 
over the relative lighting intensity in Figure 3 illustrate this 
very advantageous property of the locally autoadaptive pixel. 
Owing to the logarithmic plotting of the intensity on the 
horizontal axis, the pixel signal curve appears curved, while the 
ramp stages 11 which are distributed at exponential intervals 
have equal widths. 

The block diagram .shown in Figure 4 shows schematically the 
interaction of pixel circuits 50 with the peripheral components 
53, 55 and 58 in an area sensor. During the integration phase, 
the integration control 55 supplies pixels 50 of the pixel matrix 
51 arranged in columns and rows with the required control signals 

*• - *% 
"- ( \ 

V 

1; 



15 



such as reset 20, clock pulse 09, ramp 11 and Ucomp 08 which are 
generated by integration control 55 from an input clock pulse Clk 
66. The signals are generated together for all pixels 50, so that 
all pixels 50 of pixel matrix 51 begin their integration periods 
in synchronization, while they select the end time themselves as 
described above. 

A signal at ready output 67 indicates the end of the integration 
phase by a signal to the parts of the circuit outside the chip. 
Now they can apply a line address ZA 64 and line release signal . 
ZEN 65 to line decoder 53, which then controls the desired line 
reading line 52. Line reading line 52 is connected to the pixel 
reading lines read 20 of all pixels 50 in the line and ensures 
that all pixels 50 of the selected line output their integrated 
pixel signals 06 and fixed integration signals 14 on pixel signal 
column lines 18 and integration signal column lines 19. 

Of all pixel signal and integration signal column lines 56, 57 
applied in parallel to the column control and readout 58, the 
column control and readout 58 selects the column selected by 
column address SA 63 which is supplied externally. With the 
applied column release signal SEN 62, the selected pixel signal 
06 and the selected integration signal 14 are output to pixel 
output Pixaus 59 and integration signal output Intaus 60. After 
successful readout of all pixels 50, the next integration phase 
is then started in integration control 55 by a signal at start 
61. 
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THE CLAIMS DEFINING THE INVENTION ARE AS FOLLOWS: 

1. An integrating image sensor, including: 

a) an arrangement of light converting pixels, 
5 each consisting of: 

aa) a light-sensitive element for 
photoelectric conversion of the light intensity falling on 
it in a photoelectric current that depends on the light 
intensity; 

10 ab) an integrating device to integrate said 

photoelectric current over a certain integration time 
within an integration phase; 

ac) a duration controlling device for 
determining the starting and ending time of the integration 

15 period; 

ad) a readout device for relaying a pixel 
signal during a readout phase which corresponds to the 
amount of photoelectric current integrated; 

b) a device for processing previously known 
2 0 signals relayed by the pixels and supplying an output 

signal .generated from it; 

c) a pixel controlling device which supplies 
all the above-mentioned devices that are present in all 
pixels with control signals in such a way that the said 

2 5 output signal is a signal reflecting the light image picked 
up by the image sensor, 

wherein the duration controlling device of the 
pixels is influenced by the integrating device of said 
pixel in such a way that the duration controlling device 

3 0 selects the end point of the integration time as a function 
of the light intensity striking the pixel so that higher 
light intensities lead to shorter integration periods, 
while lower light intensities lead to longer integration 
periods . 

35 

2. A sensor as claimed in claim 1, wherein the 
duration controlling device influences the end time of the 

\\ I :\AJM\K*«p\sp*cif ic*tione\4 7061 .97 . dor: S/10/99 
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integration period with the help of an electronic switch, 
where the electronic switch is installed so that the 
electronic switch interrupts the flow of photoelectric 
current into the integrating device to end the integration 
5 time. 

3. A sensor as claimed in claim 1, wherein the 

duration controlling device influences the end time of the 
integration period with the help of an electronic switch, 

10 where the electronic switch is installed so that the 

electronic switch is looped in between a previously known 
integrating device and another storage device so that the 
electronic switch interrupts the signal path between the 
integrating device and the storing device at said end time 

15 such that after the end of the integration phase, the 

storing device has stored a signal that is in relation to 
said end time of the signal delivered by the integrating 
device . 

20 4. A sensor as claimed in any one of the preceding 

claims, wherein each pixel has stored integration duration 
information after the end of said integration phase, which 
provides information on how long said integration period of 
the respective pixel was and which is read out together 

25 with said pixel signal. 

5. A sensor as claimed in claim 4, wherein said 
integration duration information is represented by a 
digital signal. 

30 

6. A sensor as claimed in claim 4, wherein said 
integration duration information is represented by an 
analog signal. 

35 7. A sensor as claimed in claim 6, wherein said 

integration duration information is represented by an 
amplitude-discretized analog signal. 
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8. A sensor as claimed in any one of claims 4 to 7, 
wherein said signal is generated autarchically in the 
pixel . 

9. A sensor as claimed in any one of claims 4 to 7, 
wherein said signal is generated in the pixel with the help 
of signals applied to the pixel from the outside. 

10. A sensor as claimed in claim 4, wherein said 
signal is supplied to the pixel suitably at each end time 
from the outside and must be retained by the pixel at the 
end time. 

11. A sensor as claimed in any one of the preceding 
claims, wherein said duration controlling device can decide 
to terminate the integration of the pixel signal only at a 
few discrete times within an integration phase , and said 
discrete times are defined by signals applied to the pixel 
from the outside. 

12. A sensor as claimed in claim 11, wherein said 
externally defined times have an exponential distribution 
in the sense that an integration period that can be 
selected by choosing an end time is longer by a fixed 
factor than the next shorter selectable integration period. 

13. A sensor as claimed in claim 11, wherein said 
externally defined times have a dual exponential 
distribution in the sense that an integration period that 
can be selected by choosing an end time is twice as long as 
the next shorter selectable integration period. 

14. A device for controlling image sensors, 
comprising a plurality of pixel signal processing units, 
each of which comprises : 

a pixel receiving device by means of which 
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incident light striking a light-sensitive element can be 
converted to a light intensity dependent photoelectric 
current ; 

an integration device for integrating the 
photoelectric current during a predetermined integration 
period; and 

a readout device for reading out the pixel signal 
corresponding to the integrated photoelectric current 
during a readout phase, where the pixel signals read out by 
the pixel signal processing units can be processed by a 
common processing device and combined to a signal that 
reflects the light image received by the image sensor; 

wherein the pixel receiving devices have means 
for predetermining the end of the integration time such 
that the integration time is ended, taking into account the 
incident light intensity, before the integration device 
enters the saturation state. 

15. A method of operating an integrating image 

sensor, including: 

a) providing an arrangement of light converting 
pixels, each consisting of: 

aa) a light-sensitive element for 
photoelectric conversion of the light intensity falling on 
it in a photoelectric current that depends on the light 
intensity; 

ab) an integrating device to integrate said 
photoelectric current over a certain integration time 
within an integration phase; 

ac) a duration controlling device for 
determining the starting and ending time of the integration 
period; 

ad) a readout device for relaying a pixel 
signal during a readout phase which corresponds to the 
amount of photoelectric current integrated; 

b) processing previously known signals relayed 
by the pixels and supplying an output signal generated from 
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it; 

c) suppling all the above-mentioned devices 
that are present in all pixels with control signals in such 
a way that the said output signal is a signal reflecting 
the light image picked up by the image sensor, 

whereby said duration controlling device is 
influenced by the integrating device of said pixel in such 
a way that the duration controlling device selects the end 
point of the integration time as a function of the light 
intensity striking the pixel so that higher light 
intensities lead to shorter integration periods, while 
lower light intensities lead to longer integration periods. 

16 • A method as claimed in claim 15, wherein the 
duration controlling device influences the end time of the 
integration period with the help of an electronic switch, 
where the electronic switch is installed so that the 
electronic switch interrupts the flow of photoelectric 
current into the integrating device to end the integration 
time. 

17 • A method as claimed in claim 15, wherein the 
duration controlling device influences the end time of the 
integration period with the help of an electronic switch, 
where the electronic switch is installed so that the 
electronic switch is looped in between a previously known 
integrating device and another storage device so that the 
electronic switch interrupts the signal path between the 
integrating device and the storing device at said end time 
such that after the end of the integration phase, the 
storing device has stored a signal that is in relation to 
said end time of the signal delivered by the integrating 
device . 

18 • A method as claimed in any one of claims 15 to 

17, wherein each pixel has stored integration duration 
information after the end of said integration phase, which 
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provides information on how long said integration period of 
the respective pixel was and which is read out together 
with said pixel signal. 

19. A method as claimed in claim 18, wherein said 
integration duration information is represented by a 
digital signal. 

20. A method as claimed in claim 18, wherein said 
integration duration information is represented by an 
analog signal. 

21. A method as claimed in claim 20, wherein said 
integration duration information is represented by an 
amplitude -discreti zed analog signal. 

22. A method as claimed in any one of claims 18 to 
21, wherein said signal is generated autarchically in the 
pixel. 

23 . A method as claimed in any one of claims 18 to 
21, wherein said signal is generated in the pixel with the 
help of signals applied to the pixel from the outside. 

24. A method as claimed in claim 18, wherein said 
signal is supplied to the pixel suitably at each end time 
from the outside and must be retained by the pixel at the 
end time ♦ 

25. A method as claimed in any one of claim 15 to 24, 
wherein said duration controlling device can decide to 
terminate the integration of the pixel signal only at a few 
discrete times within an integration phase, and said 
discrete times are defined by signals applied to the pixel 
from the outside. 



A method as claimed in claim 25, wherein said 
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externally defined times have an exponential distribution 
in the sense that an integration period that can be 
selected by choosing an end time is longer by a fixed 
factor than the next shorter selectable integration period. 

5 

27, A method as claimed in claim 25, wherein said 
externally defined times have a dual exponential 
distribution in the sense that an integration period that 
can be selected by choosing an end time is twice as long as 

10 the next shorter selectable integration period. 

28, An integrating image sensor substantially as 
hereinbefore described with reference to the accompanying 
drawings • 

15 

29, A device for controlling image sensors 
substantially as hereinbefore described with reference to 
the accompanying drawings » 

20 30. A method of operating an integrating image sensor 

substantially as hereinbefore described with reference to 
the accompanying drawings . 

Dated this 5th day of October 1999 
2 5 MARKUS BOHM 

By their Patent Attorneys 
GRIFFITH HACK 

Fellows Institute of Patent and 
Trade Mark Attorneys of Australia 
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